Наш специалист по внедрению информационных систем MICROMINE, Максим Мингалов, рассказал о построении единой базы данных. В качестве основы выбрано программное обеспечение обеспечение Geobank.
Первичные рабочие данные – это важнейший стратегический ресурс любого горно-геологического предприятия, фундамент, рождающий информацию, необходимую при планировании работ, моделировании месторождений, а также принятии оперативных решений в ходе разведки и отработки месторождений.
Одна из главных задач, стоящих перед менеджментом предприятия – это построение единой базы данных (ЕБД), информация из которой отвечает таким показателям качества как достаточность, доступность, своевременность, устойчивость, точность, достоверность, актуальность, защищенность и ценность.
Система управления данными
Деятельность любого предприятия складывается из взаимодействия между его службами (отделами), в основе которого лежит обмен информацией. Информационные потоки современного предприятия исходят из различных источников (маркшейдерские съемки, полевая геология, данные о результатах лабораторных исследований, данные по эксплуатации блоков и пр.), имеют свою периодичность поступления, коэффициент достоверности (не исключены опечатки и прочий шум, вызванный человеческим фактором), формат представления и объем данных. Эффективность обработки информации во многом определяет успех предприятия.
Компания MICROMINE оказывает услугу по разработке и внедрению системы управления данными (СУД), выстраиваемой на основе ЕБД.
Построение модели «как есть» (As Is)
“As Is” -Функциональная модель на основе действующей обобщенной логической модели, выявленная в рамках обследования.
Если рассматривать процесс построения ЕБД как некий жизненный цикл, в ходе которого происходит эволюция этого объекта, сменяющаяся разными состояниями, то в самом начале сбор информации представляет собой централизованную обработку данных, поступающих из отмеченных выше источников – или центров информации (ЦИ).
При этом не все потоки могут выдавать на выходе результат в электронном виде (полевая геология может частично или полностью вестись в бумажном виде).
Процессы, лежащие в основе ЦИ, могут быть со временем автоматизированы различными методами (переход на использование Excel вместо бумаги; применение новых устройств в геофизических исследованиях с возможностью сохранения собранных данных о замере в электронном формате и др.); однако такая автоматизация в целом имеет «лоскутный» характер (поскольку ограничена рамками ЦИ), и вся информация в последствие должны быть обработана, проверена и вручную сведена в конечную утвержденную форму, пригодную для дальнейшего использования.
Централизованная обработка и интерпретация геологических данных – это одна из прямых задач отдельных подразделений. На выходе обычно мы имеем сводный файл формата Excel или Access. Процесс добавления новой информации в такой файл может занимать значительное время, а аналитическая обработка данных может быть затруднительна.
Разработка модели «как должно быть» (As To Be)
“As To Be” – Уточненная функциональная модель на основе усовершенствованной обобщенной логической модели.
Конечное состояние, к которому должна стремиться эволюция процесса построения ЕБД представляет собой комплексное решение – систему управления данными (СУД) – отвечающее за консолидированный сбор данных, их проверку, сохранность, доступность, анализ и передачу конечным пользователям (в том числе полную синхронизацию ЕБД удаленного офиса с головным офисом). Такое решение должно сокращать временные издержки и обеспечивать высокую надежность и продуктивность использования информации.
Именно это состояние достигается по результатам внедрения СУД специалистами компании MICROMINE.
Остановимся подробнее на архитектуре и инструментарии такой системы, реализуемой на базе ПО Geobank компании MICROMINE Pty Ltd.
Geobank – система управления данными, которая обеспечивает гибкую и эффективную среду для сбора, проверки и хранения данных, поступающих из различных источников, а также для управления ими. Это динамичное решение с использованием масштабируемой модели данных, которая настраивается под специфические требования геологоразведочной и добывающей отраслей. Пакет разработан и создан специально для горнодобывающей индустрии и находит применение в компаниях любого масштаба, от отдельных пользователей, работающих на одном объекте, до ведущих компаний, работающих на множестве объектов одновременно.
Хранение данных
В основе данного решения лежит основная база данных (ОБД)[1], которая надежно хранит всю первичную информацию, получаемую из горно-геологических департаментов предприятия. Это ее основное назначение.
Технология: в качестве системы управления базами данных (СУБД) стандартно используется Microsoft SQL Server (2005 и выше), однако есть возможность использовать другое решение (например, Oracle).
Основное назначение ПО Geobank – предоставление графического интерфейса (формы ввода, отчетность, специализированные утилиты для работы с геологическими данными и др.) для взаимодействия с ОБД.
Структура ОБД разрабатывается по результатам проведенного обследования предприятия, проводимого специалистами MICROMINE (от «как есть» до «как должно быть»). При ее разработке применяется принцип открытости и масштабируемости, когда стандартный набор таблиц[2] ОБД может быть дополнен любыми новыми таблицами сразу, или в дальнейшем, при возникновении отдельной производственной задачи (например, появилась необходимость фиксировать в системе объемы по ежедневному перемещению руды между складами, непредусмотренная при внедрении).
Дополнительно: имеется логическое укрупнение таблиц в стандартные хабы: скважина, участок, проба, отправка в лабораторию и др (с возможностью создания новых хабов). Данный подход повышает качество администрирования системы.
Благодаря этим подходам, СУД позволяет работать с любой категорией производственных данных табличного вида, что является необходимым требованием для решения задач консолидации информации.
Также в ходе внедрения прорабатываются роли пользователей, работающих с системой; осуществляется конфигурирование рабочих мест.
Загрузка и проверка данных
Занесение информации в СУД реализуется как ручным способом (формы ввода), так и импортом данных из внешних файлов (поддерживаются форматы .txt, .csv, .dat, .xls, .xlsx). Данные инструменты доступны из рабочего места Geobank и имеют интуитивно понятный русифицированный интерфейс.
СУД хранит лог последних изменений в строках таблиц, фиксируя время изменения и учетную запись пользователя. При необходимости, имеется возможность хранения в системе N последних изменений (версионность данных).
Дополнительное взаимодействие
Полноценная поддержка SQL-запросов позволяет получать информацию напрямую из сторонних баз данных (тот случай, когда ЦИ для аккумулирования информации использует свою собственную базу данных или специализированное ПО). Данный подход значительно расширяет возможности в части решения задач консолидации информации, позволяя СУД выстроить полноценный ETL[3]-процесс, включающий:
- извлечение данных из внешних источников в буферные таблицы;
- их трансформация и очистка, чтобы они соответствовали требованиям хранилища (ОБД);
- загрузка их в хранилище данных СУД.
Данная практика была успешно опробована на ряде проектов (в том числе внедрение Geobank в Хабаровском филиале «Полиметалл УК», где одними из источников данных выступали вспомогательная БД лабораторных протоколов и специализированное ПО «АГР»).
Загрузка данных в ОБД включает промежуточный этап валидации, когда данные, помещенные в буферные таблицы ОБД, проходят проверки, настроенные администратором системы. К числу стандартных проверок относятся:
– проверка любых числовых значений на принадлежность заданному диапазону;
– проверка любых текстовых полей на принадлежность кодам выбранной категории справочника;
– проверка границ интервалов выработки (например, интервалы скважины при документировании геологического описания) на зазоры, пересечения, нулевую и отрицательную длину;
– прочие настраиваемые проверки (использование SQL в процедурах проверки не накладывает ограничений на создание любых вариаций).
Исполнитель, запустивший процессы загрузки и проверки данных, имеет возможность устранить выявленные системой ошибки самостоятельно (в случае если опечатки очевидны и однозначно установлены), либо сформировать автоматический отчет о найденных ошибках и направить его обратно в ЦИ с просьбой прислать скорректированные данные.
Повторные проверки данных в буферных таблицах, не выявившие никаких ошибок, разрешают нам осуществить перенос информации непосредственно в ОБД, предоставляя тем самым 100% гарантию, что мы храним в системе качественную, проверенную информацию.
Аналитика, или ради чего все затевалось
Как было отмечено выше, СУД позволяет консолидировать данные из различных источников, что позволяет нам системно управлять имеющейся информацией и анализировать ее.
Отчеты
Язык запросов SQL, являющийся ядром рассматриваемой СУД, открывает неограниченные возможности в части анализа хранимой информации и генерации различной табличной отчетности с самыми жесткими требованиями со стороны заказчика.
Изначально структурируя первичную информацию в отдельных таблицах, связанных между собой по ключевым полям, мы используем ее в последствие в качестве кирпичиков при построении различных аналитических отчетов: срезов, группировок, сводных вычислений, фильтруя выборки по указанным датам, месторождениям и/или иным входным параметрам.
С выходом Geobank 2013 и появлением модуля «Расширенная отчетность» качество верстки подобных отчетов стало на порядок выше. Модуль поддерживает мощную систему сегментирования макета страницы выходного отчета на зоны (колонтитулы, зона отчета, зона страницы, группировка и др.). Это позволяет строить сложные отчеты с самыми высокими требованиями к их оформлению. Любой отчет можно сохранить во внешний файл (поддержка форматов .pdf, .mht, .xls, .xlsx, .html).
В числе специализированных аналитических утилит Geobank стоит отметить:
– отдельный модуль «Отслеживание проб» (Sample Tracker), позволяющий выстроить в СУД полный цикл взаимодействия с лабораториями (отправки проб и получения результатов анализов из лаборатории, контроль качества QAQC с построением графиков);
– редактор графических отчетов, позволяющий отстраивать на экране геологическую колонку и различные графики;
– инструмент «Сбивка разреза по глубинам», которые позволяет в реальном времени корректировать интервалы геологического описания в соответствие с пиками каротажных графиков;
– пересчет координат выработок между разными системами;
– расчет 3D-координат в интересующих точках глубин (например, в точках замера инклинометрии или в точках центров геологических проб скважины).
Выгрузка информации из системы
Через SQL-запрос можно извлечь из ОБД любую интересующую выборку и выгрузить ее во внешний текстовый файл.
Горногеологические информационные системы типа Micromine, Datamine, Surpac и др. имеют возможность напрямую обратиться к ОБД с целью извлечения информации, необходимой для задач моделирования месторождений.
Заключение
Внедрение Geobank на российском рынке проводится с 2011 года. За этот период продукт зарекомендовал себя как надежная система управления данными, успешно справляющаяся с самыми сложными задачами. Каждый проект внедрения сопровождается процессом обследования предприятия, что позволяет консультантам компании MICROMINE разработать индивидуальное решение и учесть все необходимые требования и пожелания заказчика.
[1] ОБД является реализацией вышеописанной ЕБД.
[2] Таблица – объект реляционной базы данных, содержащий информацию о некоторой сущности (например о скважине, геофизическом замере выработки, опробовании скважины и т.д.)
[3] ETL (от англ. Extract, Transform, Load — дословно «извлечение, преобразование, загрузка») — один из основных процессов в управлении хранилищами данных
